SkillEvolBench: Benchmarking the Evolution from Episodic Experience to Procedural Skills
技能演化基准：从情景轨迹到可复用程序技能的评估
🧭 Agent 技能演化与经验复用评估 ★ 深度解读
The Ohio State University · The University of Chicago · University College London · University of Michigan · Amazon
SkillEvolBench 诊断基准揭示 LLM 智能体难以从任务轨迹中抽象出可迁移的程序技能，原始轨迹复用常优于提炼技能。
📌 工作参考价值（5 点）
- 在智能体经验复用系统中，先保留原始轨迹（类比 RAG 中的原始文档）可能比提前抽象为技能更可靠，抽象过程容易丢失上下文线索。
- 技能更新策略上，总是更新（always-update）比仅失败时更新更有效，但需配合过滤机制防止程序漂移。
- 评估经验转化时，必须区分本地重放（replay）和冻结部署（held-out transfer），单一学习成功率具有欺骗性。
- 在操作流程自动化（如客服步骤、商品配置）中，可仿照其角色条件化设计，测试在分布偏移、对抗输入和技能组合下的鲁棒性。
- 库容量不是越大越好，强制资源捆绑（Tier-3）可能引入程序垃圾，重点应放在选择性保留稳定、可验证的程序片段。